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摘要 : [目的 /意义 ] 探 讨 网 络 行为 数据 适用 性 的 意 涵 、 影 响 因 素 和 评估 方法 ,为 相关 研究 提供 参考 ,以 促进 
此 类 数据 的 科学 使 用 。[ 方 法 /过 程 ] 利 用 文献 法 梳理 出 网 络 行为 数据 适用 性 的 核心 影响 因素 ,进而 以 此 为 基 
础 ,结合 情报 素材 评估 和 社会 调查 数据 评估 领域 的 已 有 成 果 , 探 索 如 何 对 网 络 行为 数据 的 适用 性 进行 评估 。 
[ 结果/ 结论] 最 终 提出 符合 网 络 行为 数据 特征 的 适用 性 评估 框架 与 方法 ,并 结合 案例 初步 验证 所 提 方 法 的 可 用 
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2 ”网络 行 为 数据 适用 性 的 意 酒 与 研究 


获取 足够 的 样本 是 社会 科学 量化 研究 的 基础 保 — DUM 

障 > 得 受制 于 现实 条 件 ,这 在 很 多 研究 中 难以 实现 由。 本 文 用 “数据 适用 性 ”表征 数据 与 研究 问题 的 契 
龙 副 据 的 兴起 为 这 一 问题 的 解决 提供 了 新 自 机 ,研究 。 合 程度 , 即 特定 的 数据 在 多 大 程度 上 适合 解答 特定 的 

鹿 能 够 以 前 所 未 有 的 水 平 观察 社会 现象 ,开展 更 多 ”研究 问题 。 对 于 这 一 概念 所 包含 的 具体 内 容 , 目 前 尚 
榨 \ 深 入 的 研究 。 作 为 大 数据 的 典型 代表 ,与 搜索 行 ”无 统一 界定 ,本 文 参考 社会 调查 数据 评估 的 已 有 研究 ， 
为 > 社交 媒体 言论 . 电 商 平台 消费 等 相关 的 网 络 行为 数 ”围绕 以 下 两 个 方面 讨论 网 络 行为 数据 的 适用 性 :@ 样 
据 在 经 济 社会 问题 研究 中 正 得 到 越 来 越 多 的 使 用 ,但 ”本 代表 性 , 即 数据 中 的 样本 能 够 被 据 以 有 效 扒 估 总 体 
是 禄 些 数据 本 身 在 特定 的 研究 任务 语 壤 下 是 否 适 用 或 ”的 程度 ;@ 测 量 效 度 , 即 基于 特定 数据 进行 的 测量 能 在 


是 特 会 对 人 研究 结果 致 偏 等 尚 不 明朗 。 多 大 程度 上 反映 研究 概念 的 真实 含义 。 
情报 感知 是 情报 工作 的 核心 业务 ,要 求情 报 专业 严谨 的 研究 离 不 开 有 效 ,高 质量 的 测量 ,但 这 在 网 
人 员 清 晰 地 认 知 ,解读 和 表达 情报 用 户 需求 ,情报 对 象 ” 络 行为 数据 及 其 所 代表 的 大 数据 的 应 用 中 常 难 以 实 


内 容 以 及 情报 任务 组 织 ”。 近 年 来 ,网 络 行为 数据 作 。” 现 “”。 多 数 常用 大 数据 并 不 是 为 了 科学 研究 而 生 "， 
为 开源 情报 的 重要 来 源 之 一 ,在 新 时 代 背 景 下 的 情报 。 其 生产 和 采集 过 程 中 常 缺 少 对 数据 有 效 性 的 提前 设 
工作 中 正 扮 演 着 日 益 重要 的 角色 。 而 这 些 复杂 .多 计 “。 一 旦 离开 适用 的 情境 ,大 数据 将 失去 意义 和 价 
样 的 网 络 行为 数据 的 引入 给 情报 感知 中 的 数据 感知 提 f J. Merino 等 指出 ,在 应 用 过 程 中 ,适用 性 (ade- 
出 了 新 的 难题 ,例如 这 些 数 据 是 否 可 以 用 于 满足 情报 。“ quacy) 是 评估 大 数据 质量 的 主要 标准 "” 。 欧 委 会 大 数 
用 户 的 特定 需求 等 。 据 质量 任务 团队 指出 大 数据 对 目标 总 体 的 代表 性 是 重 

本 文 将 在 总 结 已 有 研究 的 基础 上 探讨 网 络 行为 数 ”要 的 质量 问题 … J. Liu 等 指出 ,大 数据 ,尤其 是 互联 
据 在 涉及 经 济 社会 议题 的 研究 与 应 用 中 的 适用 性 问 ” 网 大 数据 ,在 为 研究 带 来 可 能 性 的 同时 也 带 来 了 5 个 
18 ,探析 网 络 行为 数据 适用 性 的 意 涵 、 核 心 影响 因素 以 “大 误差 ” ,其 中 就 包括 数据 源 的 非 权威 性 和 数据 的 代 
及 评 佑 框架 与 方法 。 表 性 问题 ”。Z. Tufekci 着 重 讨论 了 社交 媒体 数据 的 
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适用 性 问题 ,指出 社交 媒体 数据 的 代表 性 和 效 度 将 对 
研究 的 有 效 性 带 来 巨大 挑战 。 

面 对 不 完美 的 数据 ,研究 者 需要 意识 到 问题 的 存 
在 并 用 科学 的 方法 降低 其 对 研究 的 影响 。 对 于 如 何 解 
决 网 络 行为 数据 或 大 数据 的 适用 性 问题 ,目前 已 有 一 
HRE, J. Merino 等 提出 了 大 数据 适用 性 的 测量 框 
架 和 流程 ,但 没有 提出 如 何 进行 每 一 项 测量 " 。D 
Lazer 等 建议 研究 者 要 了 解 影响 大 数据 产生 的 算法 ,并 
将 大 数据 和 “小 数据 ”结合 使 用 ,以 减少 研究 中 的 偏 
误 ”。Z. Tufekci 指出 可 以 通过 定位 非 社会 性 因 变 量 、 


据 、 搜 索 数 据 等 ,大 多 是 由 特定 平台 和 采集、 存储 并 展示 
的 ,并 且 这 些 平台 多 具有 商业 属性 ,这 就 会 从 以 下 3 个 
方面 影响 数据 的 适用 性 : 

3.1.1 平台 和 用 户 的 双向 选择 会 影响 数据 代表 性 
网 络 行为 数据 并 非 全 样本 数据 ,以 新 浪 微 博 为 例 ,其 
2017 年 12 月 的 月 活跃 用 户 数 为 3.92 457 , 体 量 
大 ,但 也 仅 占 中 国 总 人 口 的 28.2% 。 数 据 量 的 增加 并 
不 能 保证 数据 代表 性 ” ,尤其 是 来 自 商业 平台 的 数 
据 "”。 用 户 和 平台 之 间 的 双向 选择 ,如 平台 间 差 异化 
的 营销 策略 、 用 户 偏好 等 ,会 导致 不 同 平台 可 能 代表 不 
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重 抽样 .开展 基线 测量 ,与 产业 界 合作 等 方法 应 对 社交 
媒体 数据 的 代表 性 和 效 度 不 足 问题 ”“ 。J Liu 指出 研 
究 者 需要 更 好 地 理解 和 评估 大 数据 带 来 的 “大 误差 ”, 
与 数据 提供 者 合作 以 严谨 的 方法 采集 数据 、 用 传统 数 
据 邓 大 数据 形成 补充 ,扩展 多 源 数据 等 方法 有 助 于 减 
轻 这 些 误差 带 来 的 副作用 ""!。 黄 恒 君 等 提出 通过 单 
dig itt bU MEVE A .数据 生成 机 制 分 析 、 技 术 检查 、 
替 生 型 数据 源 印证 .互补 型 数据 源 印 证 ,信息 可 用 性 第 
选 等 方法 对 网 络 商 户 数据 进行 评估 。 

轨 由 此 可 见 ,网 络 行为 数据 及 其 所 代表 的 大 数据 的 
有志 性 问题 可 能 在 研究 和 应 用 中 导致 严重 的 后 果 , 这 
EE 到 引起 学 界 的 高 度 关注 。 关 于 如 何 应 对 这 一 问题 ， 
现 有 有 讨论 多 是 方向 性 的 ,操作 层面 的 系统 研究 仍旧 不 
足 之 就 操作 层面 而 言 , 情 报 学 中 的 情报 素材 评估 
和 活 会 学 中 的 调查 数据 评估 “都 能 为 网 络 行为 数据 
的 如 用 性 评估 提供 参考 依据 ,然而 由 于 网 络 行为 数据 
具有 数量 大 、 更 新 频率 快 等 特点 , 现 有 评估 方法 并 不 直 
接 通 用 。 本 文 将 着 眼 于 网 络 行为 数据 的 特点 考虑 数据 
适用 性 问题 的 核心 影响 因素 ,在 现 有 评估 方法 的 基础 
上 ,探索 如 何在 操作 层面 评估 网 络 行为 数据 的 适用 性 ， 
使 网 络 行为 数据 能 够 更 好 地 服务 于 社会 科学 研究 与 情 
报 工作 。 
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3 ”网 络 行为 数据 适用 性 的 核心 影响 因素 


网 络 行为 数据 的 适用 性 问题 源 于 其 生产 或 产生 机 
制 。 网 络 行为 数据 并 非 为 统计 而 生 , 而 是 由 有 机 系统 
根据 业务 需要 记录 下 来 的 ” ,决定 数据 内 容 和 形式 的 
常常 不 再 是 研究 人 员 ,而 是 在 多 数 情况 下 完全 独立 于 
研究 人 员 的 系统 平台 。 不 仅 如 此 ,“ 网络" 一 词 天 然 地 
将 行为 发 出 者 限定 为 网 络 用 户 。 平 台 和 用 户 是 影响 网 
络 行为 数据 适用 性 的 主要 因素 。 

3.1 平台 因素 
目前 最 常 被 使 用 的 网 络 行为 数据 ,如 社交 媒体 数 
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同 用 户 群 体 ,因此 一 旦 研究 对 象 总 体 超 出 了 平台 范围 ， 
寺 定 平台 数据 的 适用 性 就 成 了 问题 。 值 得 注意 的 是 ， 
这 并 不 仅 是 抽样 问题 ,更 是 机 制 (mechanisms ) 问题 ,在 
单一 平台 进行 抽样 并 不 能 解决 这 一 问题 ” 。 
3.1.2 平台 会 影响 用 户 行为 ,进而 影响 数据 测量 效 度 
平台 常常 采用 各 种 方法 吸引 和 留存 用 户 , 如 各 类 平 
台 的 精准 营销 、 搜 索引 擎 的 关键 词 补 全 和 推荐 .社交 媒 
体 的 热门 事件 推送 等 ,这 些 都 会 对 用 户 行为 产生 影响 ， 
导致 行为 数据 背后 的 含义 发 生变 化 ,进而 导致 看 似 有 
效 . 甚 至 曾经 有 效 的 测量 变 得 无 效 ,谷歌 流感 预测 就 是 
典型 案例 。D. Lazer 等 指出 工程 师 优化 服务 和 用 户 接 
受 服务 的 过 程 会 产生 算法 动态 性 问题 (algorithm dy- 
namics) , 即 用 户 的 行为 随 算法 发 生变 化 ,而 这 正 是 导 
致 谷歌 流感 预测 无 法 持续 成 功 的 主要 原因 之 一 ”。 
3.1.3 平台 对 数据 的 管理 行为 会 影响 研究 人 员 对 数 
据 的 获取 ”网络 行为 数据 作为 大 数据 的 典型 代表 , 具 
有 体 量 大 、 更 新 速度 快 等 特征 ,针对 这 些 特征 ,平台 
在 数据 的 记录 、 存 储 、 检 索 等 方面 有 相应 的 管理 模式 ， 
包括 元 数据 记录 的 规范 性 和 完整 性 .数据 入 库 周期 .可 
供 不 同 用 户 检 索 的 数据 范围 数据 接口 的 调用 范围 等 。 
这 些 模式 由 平台 决定 ,通常 不 对 外 公开 且 随 时 可 能 变 
化 ,而 其 形成 和 变更 常常 是 由 商业 目的 决定 的 。 这 些 
模式 必然 影响 研究 者 获取 数据 的 数量 .形式 .其 至 内 
容 , 进 而 影响 数据 的 适用 性 。 例 如 元 数据 中 对 数据 属 
性 的 不 规范 记录 可 能 导致 研究 者 对 数据 产生 错误 理解 
进而 提取 出 不 适用 于 特定 研究 的 数据 。 
3.2 用户 因 素 
网 络 行为 数据 是 由 网 络 用 户 产 生 的 ,但 社会 科学 
研究 的 对 象 并 不 仅仅 包括 网 络 用 户 , 因 此 用 户 因素 对 
数据 适用 性 的 影响 常常 是 不 可 避免 的 ,其 影响 主要 来 
源 于 以 下 3 方面 : 
3.2.1 互联 网 用 户 的 人 口 社会 属性 ”即使 不 考虑 平 
台 因 素 , 网 络 用 户 的 总 体 特征 也 会 影响 数据 的 代表 性 ， 


X48, EER. 网 络 行为 数据 的 适用 性 评估 问题 初探 [J]. 图 书 情报 工作 ,2019 ,63(6) :29 -34. 


即 网 络 用 户 的 人 口 社会 属性 可 能 与 研究 对 象 不 一 致 
例如 ,截止 到 2017 年 12 月 ,中 国 网 民 中 城镇 网 民 占 比 
7396 ,农村 网 民 占 比 为 27% ” ,而 同期 我 国 总 人 口中 
城镇 人 口 占 比 58. 52% ,乡村 人 口 占 比 为 41.48% 7, 
两 个 分 布 差异 较 大 ,如 果 不 加 处 理 直 接 用 网 络 行为 数 
量 对 比 的 结果 反映 某 一 问题 的 城乡 差异 ,就 可 能 导致 
结果 有 偏差 。 

3.2.2 ”相同 行为 模式 可 能 代表 不 同 含义 “一 方面 ,不 
同 .甚至 相同 类 型 的 用 户 可 能 按照 完全 不 同 的 逻辑 实 
同样 的 行为 ,各 类 行为 数据 混杂 在 一 起 可 能 使 测量 
于 果 无 效 , 进 而 导致 其 适用 性 大 打折 扣 ; 另 一 方面 ,如 
果 研 究 者 获取 数据 的 方式 与 用 户 行为 模式 不 一 致 ,也 
可 能 导致 所 得 结果 不 适用 ,例如 通过 标签 (hashtag) 获 
取 社 交 媒体 数据 就 会 使 不 喜欢 加 标签 的 用 户 被 排除 在 
Wc. 

3Qog 用 户 对 “被 测量 "做 出 的 反映 ”网 络 行为 数据 
可 躯 测量 已 不 是 秘密 ,如 果 用 户 不 愿意 被 测量 ,就 可 能 
牙 甬 相应 的 策略 使 自己 的 行为 “不 可 见 ”。 例 如 G. 
Lotan 的 研究 表明 ,部 分 推 特 用 户 在 使 用 各 种 策略 与 推 
特 礁 对 抗 ,并 在 这 一 过 程 中 很 好 地 理解 并 利用 了 推 特 
的 二 向 主题 算法 。 类 似 的 做 法 在 国内 也 很 常见 , 例 
ARE EL Hr .表情 .暗语 等 表达 观点 ,这 都 增加 了 测量 
的 难度 ,使 研究 者 难以 获得 适用 于 特定 研究 的 数据 ,其 


lm 


NS 


zb 


Ww 


m 


至 本 能 在 不 自 知 的 情况 下 获得 不 适用 的 数据 。 
4 网 络 行为 数据 适用 性 的 评估 框架 与 


方法 

〇 通过 以 上 分 析 不 难 发 现 , 平 台 和 用 户 对 网 络 行为 
数据 的 适用 性 有 着 重要 影响 ,因此 可 基于 平台 和 用 户 
进行 评估 。 与 此 同时 ,还 可 以 由 后 向 前 倒 推 , 即 对 利用 
网 络 行为 数据 得 到 的 测量 结果 进行 评估 , 反 过 来 判断 
数据 的 适用 性 。 总 体 评估 思路 如 图 1 所 示 : 


维度 关系 评估 视角 

影响 基于 影响 

因素 素 评估 
据 E 
流程 测量 

测量 基于 测量 

SE Gm] — 结果 评估 


一 一 ~ 影响 关系 流程 关系 
图 1 网 络 行为 数据 适用 性 的 评估 思路 


在 这 一 思路 下 的 评估 框架 如 表 1 所 示 , 其 中 基于 


影响 因素 评估 对 应 的 内 容 源 于 平台 和 用 户 对 网 络 行为 
数据 适用 性 的 影响 ,基于 测量 结果 评估 对 应 的 内 容 参 
考 了 社会 调查 数据 的 效 度 评估 。 
R1 网 络 行为 数据 适用 性 评估 框架 

评估 对 象 评估 视角 评估 内 容 
网 络 行为 数据 适用 性 基于 影响 因素 评估 平台 和 用 户 特征 
平台 对 用 户 的 影响 
平台 和 用 户 的 行为 模式 
基于 测量 结果 评估 预测 效 度 
共 变 效 度 


建构 效 度 


4.1 基于 影响 因素 评估 

4.1.1 评估 平台 和 用 户 特征 ”对 于 情报 素材 ,评估 其 
发 生源 的 特征 有 助 于 判断 其 适用 程度 ”。 对 于 网 络 
行为 数据 而 言 , 其 发 生源 由 平台 和 用 户 共同 组 成 ,而 通 
过 上 文 讨论 不 难 发 现 ,互联 网 平台 和 用 户 都 存在 代表 
性 问题 ,在 利用 网 络 行为 数据 研究 总 体 时 容易 产生 误 
差 。 但 对 研究 者 而 言 ,重要 的 不 是 没有 误差 ,而 是 能 知 
道 和 控制 误差 的 大 小 ,尤其 是 当 误差 可 能 发 生 在 研 
究 的 核心 变量 上 时 。 对 于 数据 代表 性 的 评估 ,可 参考 
如 下 评估 方法 : 

(1) 基 于 平台 官方 数据 评估 。 大 型 平台 常常 会 分 
析 自 己 用 户 的 特征 并 公开 发 布 ,其 中 包括 相对 精确 的 
数据 ,如 公司 财务 报告 中 的 用 户 数量 ,也 包括 估算 的 数 
据 , 如 用 户 画 像 。 通 过 这 些 数据 能 对 数据 代表 性 形成 
方向 性 判断 。 

(2) 基于 已 有 调查 数据 或 研究 成 果 评估 。 一 方 
面 ,可 以 利用 以 中 国 互联 网 络 信息 中 心 (CNNIC) 系 机 
构 发 布 的 数据 评估 数据 代表 性 ; 另 一 方面 ,也 可 以 通过 
已 有 实证 研究 获取 判断 依据 ,如 M. Duggan 和 J. Bren- 
ner 对 推 特 的 分 析 有 助 于 研究 者 评估 推 特 用 户 特 
ik 

以 G. Doyle 利用 推 特 数据 对 英语 方言 演变 进行 的 
研究 为 例 , 作 者 首先 基于 已 有 研究 指出 推 特 数 据 偏向 
年 轻 群 体 ,并 且 略 微 偏向 城市 ,但 语言 学 研究 表明 城市 
年 轻 人 是 语言 变迁 的 主要 驱动 力 ,同时 自 媒 体 上 语言 
的 非 正式 性 也 符合 语言 变迁 研究 的 要 求 ,因此 作者 认 
为 推 特 上 的 用 户 行为 数据 适用 于 这 一 研究 。 
4.1.2 评估 平台 对 用 户 的 影响 “关于 平台 对 用 户 行 
为 影响 的 研究 目前 相对 较 少 ,同时 ,这 种 影响 可 能 是 动 
态 和 不 规则 的 ,如 平台 会 不 定期 推出 新 功能 。 因 此 , 除 
了 参考 已 有 研究 外 ,研究 者 更 加 需要 通过 实验 评估 具 
体 研 究 案 例 中 平台 对 用 户 的 影响 。 
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(1) 单 一 平台 的 时 序 对 比 。 其 基本 思想 是 ,如 测 
量 对 象 具 有 一 定 的 时 序 特征 , 则 其 时 序数 据 的 “异常 ” 
:化 多 是 外 力 影响 的 结果 。 若 平台 行为 已 知 ,可 评估 
是 否 对 表征 用 户 行为 的 时 序数 据 产生 了 影响 ; 若 平 
台 行为 未 知 ,可 通过 时 序数 据 " 异 常 "识别 进行 辅助 判 
断 。 例 如 可 以 通过 差分 值 .时 间 序 列 分 解 后 的 随机 因 
素 值 等 指标 在 特定 时 间 段 内 的 方差 判断 其 变异 程度 ， 
或 通过 异常 值 识 别 算法 发 现 数据 异常 。K，H，Borde- 
rsen 等 的 研究 结果 表明 ,通过 时 间 序 列 模型 能 够 验证 
某 一 条 广告 是 否 影 响 了 谷歌 用 户 的 搜索 和 点 击 行 
为 59 ,这 一 方法 可 推广 至 网 络 行为 数据 的 适用 性 评 
ffo 

(2) 多 平台 对 比 。 这 一 方法 的 基本 思想 是 ,对 于 
同一 个 问题 的 测量 在 多 个 平台 得 到 的 数据 之 间 一 致 性 
越 需 , 则 单一 平台 对 用 户 产生 特定 影响 的 可 能 性 越 低 。 
震 器 注意 的 是 , 当 不 同 平台 间 的 测量 结果 一 致 性 较 高 
时 4 可 能 是 各 平台 对 用 户 产生 了 相同 的 影响 ,因此 所 
用 巴 台 越 多 平台 间 差 异 越 大 , 则 对 比 结果 越 具 参 考 价 
俐 。 黄 恒 君 等 在 研究 利用 网 络 数据 构建 单位 名 录 库 
上 通过 对 比 大 众 点 评 网 和 糯米 网 的 商户 信息 验证 了 
AM ECC MERI HEU ,其 本 质 是 对 比 不 同 网 站 上 
的 画家 行为 ,因此 其 做 法 在 评估 平台 对 用 户 的 影响 时 
] 样 适用 。 
SEO 评估 平台 和 用 户 的 行为 模式 ”研究 者 在 评估 
了 和 络 对 数据 的 管理 机 制 和 用 户 行为 模式 影响 时 面临 的 
问题 本 质 上 是 相同 的 , 即 需要 建立 平台 和 用 户 行为 与 
研究 之 间 的 联系 。 对 于 这 一 问题 ,可 参考 如 下 评估 方 
ike ) 


lm 


i 
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(1) 通 过 官方 信息 评估 平台 数据 管理 模式 对 适用 
性 的 影响 。 部 分 平台 会 在 开发 者 平台 ,行业 论坛 等 梁 
道 公布 自身 技术 信息 ,研究 人 员 也 可 以 向 平台 客服 咨 
询 相关 技术 信息 。 从 笔者 调研 结果 来 看 ,虽然 其 中 不 
乏 一 些 有 用 信息 ,如 数据 接口 的 抽样 比例 .更 新 周期 
等 ,但 通过 这 些 渠道 获取 的 信息 常常 不 充分 且 不 及 时 ， 
或 许 这 正 是 相关 学 者 常 建议 研究 人 员 跟 数据 提供 者 合 
作 "的 原因 。 

(2) 基 于 网 络 行为 模式 的 相关 研究 评估 数据 的 适 
用 性 。 网 络 行为 模式 是 近年 来 一 个 热门 研究 主题 , 情 
报 学 .计算 机 科学 ,心理 学 等 学 科 已 在 这 一 领域 取得 了 
大 量 研究 成 果 , 通 过 对 已 有 研究 的 回顾 将 有 助 于 研究 
者 评估 数据 的 适用 性 。 例 如 , 孙 妆 、 吕 本 寅 等 在 利用 搜 
索引 擎 数据 研究 消费 者 信心 时 ,通过 已 有 研究 验证 了 
网 络 搜索 行为 与 消费 者 信心 的 关联 ,进而 构建 了 基于 
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搜索 数据 的 消费 者 信心 指数 。 
(3) 基 于 实验 评估 平台 和 用 户 的 行为 模式 。 如 果 
缺乏 已 有 研究 和 官方 信息 作为 评估 依据 ,研究 者 只 能 
通过 实验 逆向 研究 用 户 行为 模式 和 平台 对 数据 的 管理 
模式 。 虽 然 研 究 目 的 不 同 会 导致 实验 方向 的 不 同 ,但 
核心 思想 都 是 首先 挖掘 已 经 受到 平台 和 用 户 行为 影响 
的 数据 ,发 现 其 中 的 规律 ,进而 逆向 理解 其 产生 过 程 。 
例如 通过 用 户 行为 对 用 户 进行 聚 类 ,并 研究 类 别 间 行 
为 模式 的 差异 ,进而 探索 不 同行 为 模式 所 代表 的 含义 ， 
或 者 通过 对 数据 的 动态 跟踪 分 析 研 究 平台 的 数据 发 布 
规律 。 为 说 明 这 一 思路 ,本 文 进行 了 一 个 简单 的 示例 
笔者 利用 某 社交 媒体 的 站 内 搜索 功能 ,以 “研究 ” 
为 关键 词 ,区域 限定 为 “北京 ”, 采 用 相同 检索 条 件 , 在 
不 同时 间 点 进行 了 多 次 检索 ,获得 的 数据 条 数 如 表 2 
所 示 。 检 索 的 时 间 范 围 是 2018 年 5 月 16 日 8:00 到 
11:59 ,从 表 中 不 难 发 现 数据 条 数 呈 递减 趋势 ,5 天 时 
间 内 数据 条 数 减 少 了 2. 1% 。 虽 然 单 次 实验 本 身 不 能 
证 明 存 在 规律 ,但 它 提 供 了 一 种 方向 。 假 设 这 一 结论 
经 过 大 量 实验 验证 ,无 论 是 由 于 部 分 用 户 倾向 于 删除 
行为 数据 ,还 是 由 于 站 内 搜索 引擎 的 限制 ,这 都 意味 着 
研究 者 用 这 种 方式 获取 的 历史 数据 可 能 是 不 全 面 的 ， 
如 果 研 究 问题 对 这 一 点 很 敏感 ,尤其 是 研究 发 生 在 很 
久之 前 的 事件 时 ,这 一 数据 的 适用 性 就 会 大 打折 扣 。 
表 2 社交 媒体 平台 站 内 搜索 数据 条 数 


检索 时 间 5.16 12:01 5.16 13:01 5.16 14:01 5.16 15:01 5.16 16:01 


数据 条 数 1 125 1 125 1 124 1 124 1 123 
检索 时 间 5.17 7:30 5.18 7:30 5.19 7.30 5.20 7:30 5.21 7:30 


数据 条 数 1 116 1 111 1 107 1102 1 101 


42 ”基于 测量 结果 评估 

如 果 研 究 者 无 法 对 平台 和 用 户 进行 评估 ,还 可 以 

通过 评估 测算 结果 倒 推 网 络 行为 数据 的 适用 性 ,这 广 
面 可 借鉴 社会 调查 数据 的 效 度 评估 方法 中 预测 效 度 、 
共 变 效 度 和 建构 效 度 评估 。 
4.2.1 评估 预测 效 度 ”预测 效 度 是 “将 已 得 到 的 测量 
结果 与 未 来 实际 发 生 的 情况 进行 比较 ,以 检查 两 者 的 
一 致 性 .5 当 测 量具 有 时 序 属性 时 ,可 采用 预测 效 度 
进行 评估 。 具 体 来 看 ,有 两 种 不 同 的 方法 : 

(1) 先 测量 ,然后 等 待 结果 出 现 ,最 后 进行 评估 。 
以 统计 指标 的 蔡 代 指标 为 例 , 多 数 统计 指标 的 发 布 都 
会 有 所 潜 后 ,例如 6 月 中 旬 发 布 对 5 月 的 测量 结果 ,如 
果 研究 者 在 统计 指标 发 布 之 前 通过 网 络 行为 数据 完成 
了 测量 ,就 可 以 在 统计 数据 发 布 后 对 其 进行 验证 , 单 次 
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测量 可 计算 预测 值 与 实际 值 的 差 值 ,多 次 测量 可 计算 
二 者 的 均 方 误差 等 ,进而 通过 这 些 指标 判断 数据 的 适 
用 性 。 这 是 一 种 理想 情况 ,但 在 实际 使 用 中 会 受到 一 
定 限制 。 例 如 , 若 结 果 的 发 生 时 间 是 不 确定 的 , 则 研究 
周期 可 能 被 无 限 拉 长 。 因 此 在 实际 使 用 中 有 时 会 采用 
第 二 种 方法 。 
(2) 利用 历史 数据 进行 评估 。 其 基本 思想 是 ,如 
果 能 用 某 一 历史 结果 出 现 之 前 的 数据 精准 地 对 其 进行 
预测 , 则 说 明 数 据 曾经 是 适用 的 ,进而 遵循 时 间 序 列 外 
推 的 思路 ,认为 数据 现在 仍 有 一 定 的 适用 性 。 如 果 历 
史 数 据 序列 足够 长 , 则 可 使 用 均 方 误差 .累计 均 方 误差 
等 指标 进行 评估 。 在 实际 使 用 中 ,研究 者 常用 重大 历 
史 事 件 作为 预测 对 象 。 这 种 方法 易于 实现 ,但 属于 事 
局 解释 ,加 上 外 推 法 本 身 的 缺陷 ,其 科学 性 容易 受到 质 
疑 5 甸 此 常 作为 辅助 评估 方法 。 
LO 基于 网 络 行为 数据 的 经 济 预测 研究 常 使 用 预测 效 
民办 估 数据 的 适用 性 。 例 如 谷歌 科学 家 S.L. Scott 和 
WAZH. R. Varian 在 利用 谷歌 趋势 数据 进行 经 济 
预测 研究 时 ,通过 对 比 纯 时 间 序列 模型 和 加 入 谷歌 i» 
ATR FI, RIE EFC EIU UE OE f 
27 2008 ies 2009 年 的 经 济 Dis mui 
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型 胡同 ,评估 依据 可 分 为 共 变 效 度 和 建构 效 度 。 

(1) 共 变 效 度 。 共 变 效 度 用 于 判断 新 的 测量 能 否 
取代 现 有 测量 "1 , 即 用 网 络 行为 数据 测量 一 个 已 知 变 
量 , 如 果 新 的 测量 结果 与 已 知 结果 高 度 相关 ,如 相关 系 
数 较 大 .回归 系数 显著 等 , 则 可 以 认为 它 是 有 效 的 。 共 
变 效 度 常 用 于 现 有 测量 认可 度 较 高 .但 难度 较 大 的 情 
况 , 例 如 大 型 社会 调查 。 如 果 研 究 人 员 要 利用 网 络 行 
E 0 

变 效 度 。 

共 变 效 度 在 实证 研究 中 已 得 到 使 用 。 例 如 , G. 
Doyle 通过 将 SeeTweet 测算 结果 与 高 质量 但 极其 耗 时 
的 《北美 英语 地 图 集 》 和 哈佛 方言 调查 结果 相 比 较 , 验 
证 了 SeeTweet 在 其 方言 研究 中 的 适用 性 后 。 孙 毅 B 
本 富 等 通过 回归 分 析 验 证 了 基于 搜索 数据 的 网 络 通 胀 
预期 与 消费 者 物价 指数 的 相关 性 '” 

(2) 建构 效 度 。 建 构 效 度 评估 是 要 了 人 解 “测量 工 
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具 是 否 反映 了 概念 与 命 od "1 ,其 基本 思 
想 是 当 测量 对 象 与 男 一 对 象 在 理论 上 高 度 相关 时 ,如 
REA A B a S 
是 有 效 的 。 例 如 研究 者 利用 网 络 行为 数据 测量 了 概念 
A, 其 目的 是 为 了 研究 概念 A 和 B 的 关系 ,但 不 确定 测 
量 是 否 有 效 , 此 时 如 果 已 知 概念 A 和 概念 C hi 
度 相 关 , 旦 概念 C 已 经 被 量化 , 则 可 以 通过 A 
回归 系数 的 显著 性 检验 对 于 A 的 测量 是 bw 

判断 数据 是 否 适用 。 
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网 络 行为 数据 在 为 社会 科学 研究 和 情报 工作 带 来 
新 机 遇 的 同时 ,也 带 来 了 巨大 的 风险 。 如 果 研 究 者 使 
用 了 不 适用 的 网 络 行为 数据 而 不 自 知 ， PETR 
25 RA WERTER, 34e nT Re 7 E H ILI 2 UE AES N o 
因此 ,网 络 行为 数据 的 适用 性 问题 研究 意义 重大 。 

本 研究 探讨 了 网 络 行为 数据 适用 性 问题 的 核心 影 
Jf] DR ,并 以 此 为 基础 ,结合 情报 学 和 社会 学 已 有 的 研 
究 成 果 , 提 出 一 套 科学 、 系 统 、 可 操作 的 网 络 行为 数据 
适用 性 评估 框架 ,填充 了 具体 的 评估 方法 ,并 结合 案例 
初步 验证 了 其 可 用 性 ,以 期 为 相关 研究 提供 参考 依据 。 

本 研究 仍 处 于 初期 探索 阶段 ,后续 仍 需 通过 大 量 
的 文献 研究 和 实验 对 现 阶段 的 结论 进行 不 断 验 证 和 扩 
充 。 这 一 过 程 中 必然 存在 许多 理论 和 方法 论 上 的 困 
难 , 例 如 利用 网 络 行为 数据 验证 其 自身 的 适用 性 是 否 科 
学 等 ,但 随 着 这 些 问 题 的 解决 ,网 络 行为 数据 及 其 代表 
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的 互联 网 大 数据 将 会 为 社会 科学 的 发 展 带 来 更 多 贡献 。 
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Abstract. [ Purpose/significance] This paper explores the meaning, influencing factors and assessment methods of 


the adequacy of Internet behavior data, in order to provide reference for related research and promote the scientific use of 


such data. | Method/process] This paper firstly uses the literature method to sort out the core influencing factors of the 


adequacy of Internet behavior data, and then based on this, uses the existing results in the field of information material e- 


valuation and social survey data evaluation to explore how to evaluate the adequacy of Internet behavior data. [ Result/ 


conclusion | Finally, the evaluation framework and method of Internet behavior data are proposed , and the usability of the 


proposed method has been verified by research cases. 
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